跳转至

文章背景与核心概要

先前的研究已经证明了针对 ReLU 网络、分量激活模型（如 GELU 或 SiLU）以及 Transformer 最终投影矩阵的密码分析提取方法。然而，这些技术在恢复现代大语言模型中广泛使用的无偏置门控线性单元（GLU）前馈模块时往往失效。

与单分支架构不同，GLU 模块具有双分支结构，其中激活后的线性投影与隐藏单元内的第二个学习线性投影相乘。本文提出了一种专门针对孤立无偏置 GLU 模块的构造性、多阶段前向查询恢复原语：通过有限差分曲率导出“门方向候选”，并利用 \(x\) 和 \(-x\) 的配对观测值来分离门幅值、方向及值分支耦合。

通过对跖分离技术对无偏置 GLU 前馈模块进行密码分析提取

作者： Chunhui Shi, Xinwen Fu
提交日期： 2026年8月6日
主要学科： 机器学习 (cs.LG)
arXiv ID： 2608.06631
DOI： 10.48550/arXiv.2608.06631

摘要

先前的研究已经证明了针对 ReLU 网络、分量激活模型（如 GELU 或 SiLU）以及 Transformer 最终投影矩阵的密码分析提取方法。然而，这些技术在恢复现代大语言模型中广泛使用的无偏置门控线性单元（GLU）前馈模块时往往失效。

Prior research has demonstrated cryptanalytic extraction methods for ReLU networks, componentwise activation models (such as GELU or SiLU), and a Transformer's final projection matrix. However, these techniques fail to recover the bias-free Gated Linear Unit (GLU) feed-forward blocks prominent in modern large language models.

与单分支架构不同，GLU 模块具有双分支结构，其中激活后的线性投影与隐藏单元内的第二个学习线性投影相乘。本文提出了一种专门针对孤立无偏置 GLU 模块的构造性、多阶段前向查询恢复原语： * 门方向候选： 通过有限差分曲率导出。 * 参数分离： 利用 \(x\) 和 \(-x\) 的配对观测值来分离门幅值、方向及值分支耦合。

Unlike single-branch architectures, a GLU block features a two-branch structure where an activated linear projection is multiplied by a second learned linear projection within each hidden unit. This paper introduces a constructive, multi-stage forward-query recovery primitive designed specifically for isolated bias-free GLU blocks: * Gate-Direction Candidates: Derived via finite-difference curvature. * Separation of Parameters: Utilizes paired observations at \(x\) and \(-x\) to separate gate magnitude, orientation, and value-branch coupling.

实验性能

  • 高精度目标： 在六个 Qwen 层、一个 8,192 单元的 Llama 子问题以及一个全维度的 Gemma 模块上进行了评估，所有实验均实现了低于 1% 的中位数验证误差。
  • 有限精度配置： 四种配置的中位数误差保持在 5% 以下，但没有一种配置能够成功复现所有存储的权重。
  • 范围限制： 这些实验仅针对孤立模块；它们不构成端到端的模型 API 攻击，因为直接从最终模型输出推导内部模块响应仍然是一个未解决的挑战。

Experimental Performance

  • High-Precision Targets: Evaluated on six Qwen layers, an 8,192-unit Llama subproblem, and a full-dimensional Gemma block—all achieving sub-percent median validation errors.
  • Finite-Precision Configurations: Four configurations remain below a 5% median error, though none successfully reproduce every stored weight.
  • Scope Limitations: These experiments target isolated blocks only; they do not constitute an end-to-end model-API attack, as deriving internal block responses directly from final model outputs remains an open challenge.

链接与资源